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Мегдейо1п (А.х-В.у) 
Sort (y) 


MergeJoin (A.x=B.y) 


Физическое 
свойство 
--- (Trait) 
Sorted Бу [x] Sorted by [y] 
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Сортировка и причем тут трейты 


Мегдейо1п (А.х-В.у) 
Sort (y) 


MergeJoin (A.x=B.y) 


Физическое 
свойство 
--- (Trait) 
Sorted Бу [x] Sorted by [y] 


15 


Сортировка и причем тут трейты 


Мегдейо1п (А.х-В.у) 
Sort (y) 


MergeJoin (A.x=B.y) 


Физическое 
свойство 
--- (Trait) 
Sorted Бу [x] Sorted by [y] 


15 


Сортировка и причем тут трейты 


Мегдейо1п (А.х-В.у) 
Sort (y) 


MergeJoin (A.x=B.y) 


Физическое 
свойство 
(Trait) 


РЕ 
Sorted Бу [x] Sorted by [y] 
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15 воге(ж) 
dxScan A 10 20 


Сортировка и причем тут трейты 


Мегдейо1п (А.х-В.у) 
Sort (y) 


MergeJoin (A.x=B.y) 


Физическое 
свойство 
--- (Trait) 
Sorted Бу [x] Sorted by [y] 


15 


Сортировка и причем тут трейты 


Мегдейо1п (А.х-В.у) 
Sort (y) 


MergeJoin (A.x=B.y) 


Физическое 
свойство 
--- (Trait) 
Sorted Бу [x] Sorted by [y] 


15 


Сортировка и причем тут трейты 


Мегдейо1п (А.х-В.у) 
Sort (y) 


MergeJoin (A.x=B.y) 


Физическое 
свойство 
маи (Trait) 
Sorted by [y] 


25 Winner! 


Что делать с планом? 
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РнАЗЕТ РНА$Е2 РНАЅЕ З 


Получаем Отдаем 
план из юзеру 
Calcite результат 
запроса 


Е HighLoad+ 
HL Весна 2021 


Рантайм? 


Очегу рап 


"А Нан оаа 
(ні) ос 5 


Рантайм? 


Очегу рап Кип ите 


Рафа 


i% 


"А HighLoad 
(ні) ос 53 


Рантайм? 


Очегу рап Кип ите Query result 


Data 


ЕЕ 


"А Нан оаа 
(ні) арі ү 


И как сделать рантайм? 


SELECT папе FROM emps WHERE id = 10 


"А HighLoad 
(ні) ос 5 


И как сделать рантайм? 


SELECT папе FROM emps WHERE id = 10 


ае 


Асасйе 


Е HighLoad+ 
HL Весна 2021 


И как сделать рантайм? 


SELECT папе FROM emps WHERE id = 10 


ае 


Асасйе 


Е HighLoad+ 
HL Весна 2021 


И как сделать рантайм? 


SELECT папе FROM emps WHERE id = 10 


no 
Асасйе 
= — 


Project (папе) 
Filter (іа = 10) 


"А HighLoad 
САД А 


И как сделать рантайм? 


SELECT папе FROM emps WHERE id = 10 


no 
Асасйе 
= — 


Project (папе) 


Filter (іа = 10) 


for гом : emps 


Scan (emps) emit (row) 


Г\ HighLoad 
(HL) Highl oad 


И как сделать рантайм? 


SELECT папе FROM emps WHERE id = 10 


чів 


Асасйе 


Ток От стас ех) 
ЗЕ тома = 10 
emit (row) 


Project (name) 
Filter (іа = 10) 
Scan (emps) 


for row : emps 
emit (row) 


4 Не! оаа 
HL Весна 2021 е 


И как сделать рантайм? 


SELECT папе FROM emps WHERE id = 10 


чів 


Тоғ ком : спа та. леха() 
emit (гом | пате | ) ) 


АРАСНЕ 


4саісіїе 


гог пом 3s Chile nexe() 
ЗЕ тома = 10 
emit (row) 


Project (name) 


Filter(id = 10) 


for row : emps 
emit (row) 


4 Не! оаа 
HL Весна 2021 я 


А как быть в распределенной системе? 


Scan) 


"А HighLoad 
(ні) нын 53 


А как быть в распределенной системе? 


"А Нан оаа 
(ні) ос 53 


А как быть в распределенной системе? 


| Исполняется на 
го клиентском узле 


Й Нан оаа 
(ні) нын 53 


А как быть в распределенной системе? 


| Исполняется на 
го клиентском узле 


Исполняется 
где-то в 
кластере 


"А Нан оаа 
(ні) нын 53 


А как быть в распределенной системе? 


| Исполняется на Client 
го клиентском узле 


Исполняется Data 
nodes 
где-то B 
кластере 


"А Нан оаа 
(ні) ос 53 


А как быть в распределенной системе? 


| Исполняется на 
го клиентском узле 


Исполняется 
где-то в 
кластере 


"А Нан оаа 
(ні) ос 53 


А как быть в распределенной системе? 


| Исполняется на 


> клиентском узле | App || 


Исполняется 
где-то в 
кластере 


"А Нан оаа 
(ні) ос 53 


А как быть в распределенной системе? 


| Исполняется на 


г клиентском узле | App || | App || 


Исполняется 
где-то в 
кластере 


"А Нан оаа 
(ні) нұ нші 


Как сказать кальциту о распределенных данных? 


Исполняется на | 
клиентском узле 


Исполняется 
где-то в 
кластере 


"А Нан оаа 
(ні) нын 53 


Как сказать кальциту о распределенных данных? 


Исполняется на | 


клиентском узле й Трейт распределения в кластере 


(как сортировка, только распределение) 


Исполняется 
где-то в 
кластере 


Г\ нен оаа 


Как сказать кальциту о распределенных данных? 


Исполняется на | 


клиентском узле й Трейт распределения в кластере 


(как сортировка, только распределение) 


СТ әр їшї | | 


Исполняется 
где-то в 
кластере 


"А Нан оаа 
(ні) нын із 


Как сказать кальциту о распределенных данных? 


Исполняется на | 


клиентском узле й Трейт распределения в кластере 


(как сортировка, только распределение) 


СТ зов їшї | | 


Scan [Hash] 


Исполняется 
где-то в 
кластере 


"А HighLoad 
(ні) нын 2" 


Как сказать кальциту о распределенных данных? 


Исполняется на | 


клиентском узле й Трейт распределения в кластере 


(как сортировка, только распределение) 


СТ зов їшї | | 


Filter [?] 


Scan [Hash] 


Исполняется 
где-то в 
кластере 


"А HighLoad 
(ні) нын 2" 


Оптимизатор и трейты 


[арр [Single] | | 


Filter [Hash] 


Scan [Hash] 


"А HighLoad 
(ні) ос 53 


Оптимизатор и трейты 


[| app [Single] | | 


Filter [Single] 


Filter [Hash] 


Scan [Hash] 


"А HighLoad 
САД oad 


Оптимизатор и трейты 


[| app [Single] | | 


Filter [Single] 


100 


Scan [Hash] 


"А HighLoad 
САД oad 


Оптимизатор и трейты 


[| app [Single] | | 


Filter [Single] 


100 


Scan [Hash] 


"А HighLoad 
САД oad 


Оптимизатор и трейты 


[| app [Single] | | 


Filter [Single] 


100 


Scan [Hash] 


"А HighLoad 
САД oad 


Оптимизатор и трейты 


[| app [Single] | | 


Filter [Single] 


100 


Scan [Hash] 


"А HighLoad 
САД oad 


Оптимизатор и трейты 


ОТ арр [Single] || 


Filter [Single] 


100 


100 


Scan [Hash] 


"А HighLoad 
(н) о 


Оптимизатор и трейты 


ОТ арр [Single] | 


Filter [Single] 


100 


100 


Scan [Hash] 


"А HighLoad 
(н) о 


Оптимизатор и трейты 


ОТ арр [Single] | 


Winner!!! 


Filter [Single] 


100 


100 


Scan [Hash] 


"А HighLoad 
(ні) арі үз 


Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


4 Не! сас 
HL Весна 2021 я 


Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


Ačàlcite 


4 HighLoad+ 
HL Весна 2021 


Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


Ačàlcite 


Scan (table=[emps]) // Сканируем emps на всех нодах 


4 Не! сас 
HL Весна 2021 я 


Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


APACHE 


Асас(е 


Ада (#0= |80М (ѕа1агу)], #1=[СООМТ (1) |) // Считаем локальные агрегаты 


Scan (table=[emps]) // Сканируем emps на всех нодах 


4 Не! сас 
НІ. Весна 2021 а 


Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


Ačàlcite 


SingletonExchange // Отправляем локальные агрегаты на клиента 


Ада (#0= |80М (ѕа1агу)], #1=[СООМТ (1)]) // Считаем локальные агрегаты 


Scan (table=[emps]) // Сканируем emps на всех нодах 


4 Не! сас 
НІ. Весна 2021 а 


Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


Ačàlcite 


Ада (#0=[SUM(#0)], #1=[SUM(#1)]) // Считаем глобальные агрегаты 


SingletonExchange // Отправляем локальные агрегаты на клиента 


Ада (#0= |80М (затагу) |, #1=[СООМТ (1)]) // Считаем локальные агрегаты 


Scan (table=[emps]) // Сканируем emps на всех нодах 


"А Нан оаа 
(ні) немога" 


Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


Ačàlcite 


Project (#0=[#0 / #1]) // Получаем среднее число как сумма/количество 


Ада (#0=[$0М (#0)], #1=[SUM(#1)]) // Считаем глобальные агрегаты 


SingletonExchange // Отправляем локальные агрегаты на клиента 


Ада (#0= [$0М (ѕа1агу)], #1=[СООМТ (1)]) // Считаем локальные агрегаты 


Scan (table=[emps]) // Сканируем emps на всех нодах 


"А Нан оаа 
(ні) арі Бы 


Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


Ačàlcite 


BroadcastExchange // Отправляем полученное среднее на все ноды 


Ргозесъ (#0=[#0 / #1]) // Получаем среднее число как сумма/количество 


Ада (#0= |80м (#0) 1, #1=[SUM(#1)]) // Считаем глобальные агрегаты 


біпдіекопЕхсһапде // Отправляем локальные агрегаты на клиента 


Ада (#0= |80М (затагу) |, #1=[СООМТ (1) |) // Считаем локальные агрегаты 


Scan (table=[emps]) // Сканируем emps на всех нодах 
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Весна 2021 


Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


Ačàlcite 


Scan (table=[emps]) // Снова сканируем emps на всех нодах 


Вгоадсаз+Ехспапде // Отправляем полученное среднее на все ноды 


Project (#0=[#0 / #1]) // Получаем среднее число как сумма/количество 


Ада (#0= |80м (#0) 1, #1=[SUM(#1)]) // Считаем глобальные агрегаты 


біпдіекопЕхсһапде // Отправляем локальные агрегаты на клиента 


Ада (#0= |80М (затагу) |, #1=[СООМТ (1) |) // Считаем локальные агрегаты 


Scan (table=[emps]) // Сканируем emps на всех нодах 
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Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


Ačàlcite 


Scan (table=[emps]) // Снова сканируем emps на всех нодах 


Вгоадсаз+Ехспапде // Отправляем полученное среднее на все ноды 


Project (#0=[#0 / #1]) // Получаем среднее число как сумма/количество 


Ада (#0= |80м (#0) 1, #1=[SUM(#1)]) // Считаем глобальные агрегаты 


біпдіекопЕхсһапде // Отправляем локальные агрегаты на клиента 


Ада (#0= |80М (затагу) |, #1=[СООМТ (1) |) // Считаем локальные агрегаты 


Scan (table=[emps]) // Сканируем emps на всех нодах 
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HighLoad+ 


Весна 2021 


Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


Ačàlcite 


HashJoin (condition=[salary=#0]) // Джойним emps со средним 


Scan (table=[emps]) // Снова сканируем emps на всех нодах 


Вгоадсаз+Ехспапде // Отправляем полученное среднее на все ноды 


Project (#0=[#0 / #1]) // Получаем среднее число как сумма/количество 


Ада (#0=[$0М (#0)], #1=[$9М(#1)]) // Считаем глобальные агрегаты 


SingletonExchange // Отправляем локальные агрегаты на клиента 


Ада (#0= [$0М (ѕа1агу)], #1=[СООМТ (1)]) // Считаем локальные агрегаты 


Scan (table=[emps]) // Сканируем emps на всех нодах 
(HL) мено 


Apache Ignite смог! 


SELECT * FROM emps WHERE emps.salary = 


(SELECT AVG (етрѕ.ѕа1агу) FROM emps) 


Ačàlcite 


SingletonExchange // Отправляем полученный результат на клиента 


HashJoin (condition=[salary=#0]) // Джойним emps со средним 


Scan (table=[emps]) // Снова сканируем emps на всех нодах 


Вгоадсаз+Ехспапде // Отправляем полученное среднее на все ноды 


Ргозесъ (#0=[#0 / #1]) // Получаем среднее число как сумма/количество 


Ада (#0= |80м (#0) 1, #1=[SUM(#1)]) // Считаем глобальные агрегаты 


біпдіекопЕхсһапде // Отправляем локальные агрегаты на клиента 


Ада (#0= |80М (ѕа1агу)], #1=[СООМТ (1) |) // Считаем локальные агрегаты 


Scan (table=[emps]) // Сканируем emps на всех нодах 
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А можно кастомизировать Calcite? 
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А можно кастомизировать Calcite? 


е Добавить свои операторы ВеїМоає 
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А можно кастомизировать Calcite? 


e Добавить свои операторы ВеїМоає 


е Добавить свои правила оптимизатора 


Е Не! оад++ 
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А можно кастомизировать Calcite? 


e Добавить свои операторы ВеїМоає 
ө Добавить свои правила оптимизатора 


ө Переопределить косты у своих и встроенных операторов 


Е Load 
(HL) Highl oade 


А можно кастомизировать Calcite? 


e Добавить свои операторы ВеїМоає 
ө Добавить свои правила оптимизатора 
ө Переопределить косты у своих и встроенных операторов 


ө Добавить свои метаданные и использовать их при планировании 


Е Load 
(HL) High oac 


Полезные ссылки 


ө Сайт проекта https://calcite.apache.org/ 
ө Хорошая презентация с примерами кода: 


https://www.slideshare.net/JordanHalterman/introduction-to-apache-calcite 
ө Полезная статья про Calcite Ha arxiv.org: https://arxiv.org/pdf/1802.10233.pdf 
e Volcano/Cascades optimizer papers 


https://www.cse.iitb.ac.in/infolab/Data/Courses/CS632/Papers/Cascades-graefe.pdf 
https://users.cs.fiu.edu/~fortega/storage/cop5725/Topic%20List%20Papers/15- 
optimizer2/IDEAS01.pdf 


(т) инс» 


Вопросы? 


